Metric	Score
Weighted-F1	79.16
Hyphens-F1	67.77
Comma-F1	73.47
Ellipsis-F1	11.11
Fullstop-F1	86.36
QMark-F1	76.49
Colon-F1	82.01
Excl-F1	16.67

Metric	Score
Weighted-F1	86.46
Hyphens-F1	73.63
Comma-F1	84.58
Ellipsis-F1	100.00
Fullstop-F1	89.94
QMark-F1	90.85
Colon-F1	87.80
Excl-F1	76.71

Metric	Score
Weighted-F1	82.89
Hyphens-F1	71.86
Comma-F1	76.05
Ellipsis-F1	100.00
Fullstop-F1	89.80
QMark-F1	80.95
Colon-F1	85.36
Excl-F1	40.00

Metric	Score
Weighted-F1	80.18
Hyphens-F1	66.92
Comma-F1	78.11
Ellipsis-F1	100.00
Fullstop-F1	87.64
QMark-F1	83.51
Colon-F1	64.91
Excl-F1	22.22

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-D QMark-F1
1	wikinews221484 posłowie lewicy chcą powrotu liberalnego prawa według posłanki sld joanny senyszyn obecna sytuacja może rodzic sytuacje patol…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
2	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	40.00
3	wikitalks0016801 o co chodzi z tym " tramwaje w polsce " to może od razu ramka z " przejściami granicznymi w polsce " albo " puby w polsce "…	O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O B-…	O O O O O O O O O B-QMARK O O O O O O O O O O O B-QMARK O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	47.06
4	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
5	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
6	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O B-QMARK O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
7	wikitalks001598 co za bzdura z tym że saiyanom nie rosły włosy może na głowie ale nie dotyczy to zarostu połowa saiyan miała zarost chyba ni…	O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	66.67
8	wikitalks009377 mam wątpliwość czy nam potrzeba linków zewnetrznych w obcych językach angielski jeszcze ujdzie ale inne czy można tu wypraco…	O O O O O O O O O B-QMARK O O O O B-QMARK O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O B-QMARK O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	66.67
9	wikitalks0012041 ciekawe wyrażenie arytmetyczne tylko że odkąd to unia pracy jest centrolewicowa czyżby środek ciężkości przesunąwszy był zr…	O O O O O O O O O O B-QMARK O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O …	O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O …	66.67
10	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	66.67
11	wikitalks004052 a dlaczego dane są tylko do 2017 roku źródła przepraszam ja nie posiadam źródeł ale na początku winna być poprawka wzrost lu…	O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O …	O O O O O O O B-QMARK B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	71.43
12	wikitalks0012407 zgłoszenie zostało przeniesione z wikipedia zgłoś błąd w artykule ponieważ prawdopodobnie nie zostało rozwiązane w ciągu 45…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O …	75.00
13	wikitalks0014582 kolego gregul sprawa jest prosta pojęcie stateczności stabilności dotyczy nie tylko układów sutomatycznej regulacji ale tak…	O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O …	76.92
14	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O …	80.00
15	wikitalks005743 boże widzisz takie hasło i nie grzmisz gdzie moderator taki tekst nie powinien się gdziekolwiek ukazywać jest straszny pod k…	O O O O O O B-QMARK O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O B-QMARK O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O …	85.71
16	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O B-QM…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O B-QMARK O O O O O …	85.71
17	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	85.71
18	wikitalks0017422 dlaczego w histori nie ma wspomnienia o grabarzu i jego torturach 5077 70 8 pewnie dlatego że nie dotarli do odpowiedniej l…	O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O …	90.91
19	wikitalks001549 nie zmieniłem tego ale wydaje mi się że zamiast " buddyźmie " " marksiźmie " " relatywiźmie " powinno być " buddyzmie " " ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	92.31
20	wikitalks009129 co znaczy że beginki " padły ofiarą reformacji " grzesie2k wpis na słabym poziomie bzdurna informacja o 50 spalonych waldens…	O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	93.33
21	wikinews183668 fundacja mozilla jest organizacją non profit powstałą 15 lipca 2003 roku celem jej jest organizacja prawnego i finansowego pr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
22	wikinews186979 phoenix mars lander przełączył się wczoraj w tryb bezpieczny w reakcji na usterkę elektryczną wywołaną pogarszającymi się war…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
23	wikinews183687 39 letni szkocki rajdowiec colin mcrae prawdopodobnie zginął w katastrofie helikoptera squirrel którym leciał wraz ze swoim p…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
24	wikinews229939 lider pucharu świata fin janne ahonen wywalczył złoty medal w indywidualnym konkursie o mistrzostwo świata w skokach narciars…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
25	wikinews189425 " discovery " wylądował na bieżni numer 33 w kennedy space center na florydzie dziś o godzinie 13 08 gmt kończąc misję sts 13…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
26	wikinews221028 27 grudnia izrael w odpowiedzi na jednostronne wypowiedzenie przez hamas zawieszenia broni oraz ostrzał terytorium izraela ro…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
27	wikinews209898 w stanach zjednoczonych podczas międzynarodowej konferencji grupa emerytowanych pilotów i amerykańskich urzędników zwróciła s…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
28	wikinews189795 przeciętnie grająca sparta praga pokonała lecha poznań 1 0 w pierwszym meczu iii rundy ligi mistrzów rewanż 4 sierpnia w pozn…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
29	wikinews187965 jak poinformowała pap mołdawska centralna komisja wyborcza po powtórnym przeliczeniu głosów oddanych w wyborach parlamentarny…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
30	wikinews229669 w sądzie w pekinie producent ciężarówek man złożył pozew przeciwko firmie zonda z chińskiej prowincji jiangsu przedmiotem spo…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
31	wikinews179354 prezydent usa george bush powiedział że odnowa nowego orleanu i innych zalanych terenów potrwa lata stan luizjana wraz ze sto…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
32	wikinews182573 minister edukacji roman giertych uważa że każde dziecko powinno dowiedzieć się że aborcja to zabójstwo chce by mówiono o tym …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
33	wikinews231893 9 maja na białorusi obchodzony jest dzień zwycięstwa w pochodzie w mińsku uczestniczył prezydent aleksander łukaszenka z syna…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
34	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
35	wikinews231930 koło miasta richland gdzie znajduje się nieczynny zakład wytwarzania plutonu dla celów wojskowych złapano królika wykazująceg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
36	wikinews186596 prezes urzędu komunikacji elektronicznej anna streżyńska odrzuca zarzuty prezesa telekomunikacji polskiej że regulator wyznac…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
37	wikitalks004584 to jak to w końcu jest skoro " most oddano do użytku 20 października 1934 roku nadając mu imię prezydenta ignacego mościckie…	O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O B-QMARK O O O O O O O O O O B-QMARK O O O O O …	O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O B-QMARK O O O O O O O O O O B-QMARK O O O O O …	100.00
38	wikinews225669 w 2019 roku znaleziono w holandii sposób na wysokie ceny leków jednostki naukowe podzielą się wiedza z siecią aptek na temat …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
39	wikinews231146 były asystent przewodniczącego komisji śledczej ds orlenu józefa gruszki został przez sąd aresztowany na trzy miesiące marcin…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00
40	wikitalks0017499 ani słowa o powodzi tysiąclecia z 1997 podczas której miasto tak ucierpiało morus kot przynależność do województwa błąd w l…	O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	100.00